Cá voi vây từ lâu đã được biến đến trong giới phân loại học. Chúng được mô tả lần đầu tiên bởi Frederick Martens năm 1675 và được nhắc lại bởi Paul Dudley năm 1725. Những mô tả này được sử dụng như nền tảng về loài Balaena physalus bởi Carl Linnaeus năm 1758.[14] Comte de Lacepede phân loại lại loài thành Balaenoptera physalus vào đầu thế kỉ 19. Từ "physalus" bắt nguồn từ từ Hy Lạp physa, nghĩa là "thổi".

Cá voi vây thuộc họ Balaenopteridae, cùng họ với cá voi lưng gù, cá voi xanh, cá voi Bryde, cá voi Sei và cá voi mũi nhọn. Họ này tách ra từ phân bộ Mysticeti tồn tại từ giữa thế Miocene,[15] dù chúng không được biết đến khi thành viên các họ này phân hoá vào các loài riêng biệt. Con lai giữa cá voi xanh và cá voi vây được cho rằng tồn tại ở Bắc Đại Tây Dương[16] và ở Bắc Thái Bình Dương.[17] Bằng chứng gần đây về DNA chỉ ra rằng cá voi vây có thể còn có họ hàng gần với cá voi xám (Eschrichtius robustus) và cá voi lưng gù (Megaptera novaeangliae), hai loài cá voi thuộc hai chi khác nhau, cũng như là cá voi mũi nhọn.[18][19] Nếu các nghiên cứu trong tương lai khẳng định điều này, sự phân loại này có thể phải điều chỉnh.

Năm 2006, có hai phân loài được đặt tên, mỗi phân loài khác biệt về đặc trưng cơ thể và sự phát âm. Cá voi vây phương Bắc, B. p. physalus (Linnaeus 1758), sinh sống ở Bắc Đại Tây Dương, và cá voi vây Nam Cực, B. p. quoyi (Fischer 1829), tồn tại ở Nam Đại Dương.[20] Nhiều chuyên gia xem xét cá voi vây vùng Bắc Thái Bình Dương là phân loài thứ ba chưa được đặt tên.[8].